Token Time Continuous Diffusion for Language Modeling
Token时间连续扩散语言建模
🧭 扩散语言模型 · 连续空间与每token时间步
UT Austin
提出连续空间上token级时间可变的扩散语言模型，解决高加速比下离散模型并行采样不准确问题
📌 工作参考价值（4 点）
- 低延迟文本生成：TTCD 的确定性连续扩散避免了多 token 并行采样的因子分解误差，在高加速比（少步生成）下质量稳定，适合电商搜索推荐中的实时文案生成、对话 Agent 响应等场景，可直接移植其连续演化思想。
- 可控多字段生成：每 token 可独立设置扩散速度，允许“确定度高的 token 先到位”；在生成式推荐中，可用于先生成核心语义 ID 或关键属性，再填充细节，提升生成质量和可控性。
- 自蒸馏训练技巧：论文采用自蒸馏提升最终生成质量，此方法可应用于工业界小模型（如移动端或边缘设备上的轻量 LM）的训练中，无需额外数据即可优化。
- 连续空间避免误差累积：若系统涉及多轮迭代生成（如 Agent 规划链式输出），连续扩散可降低离散采样带来的级联错误，可考虑在内部协议生成或 API 参数生成中借鉴该框架。